Thuở nhỏ khi cha cùng 2 người anh lớn đi tập kết, mẹ hoạt động cách mạng tại Sài Gòn rồi bị bắt, tù đày chuồng cọp Côn đảo hàng chục năm, ông cùng chị ruột là Trương Thu Tâm (tức Trương Ngọc Thủy) được người dì ruột thường gọi Má Năm nuôi dưỡng rồi theo anh em bạn bè ra chiến khu khi còn ở tuổi thiếu niên,sau đó hoạt động phong trào học sinh sinh viên Sài Gòn cùng Huỳnh Tấn Mẫm, Lê Hiếu Đằng, Lê Thanh Hải... Chị ông, bà Trương Ngọc Thủy cũng tham gia lưc lượng Biệt động Sài Gòn đầy huyền thoại.

Sau năm 1973 ông được đưa ra Miền Bắc học Trường Đào tạo cán bộ An ninh miền Nam (Trường E1171, tiền thân của Học viện Chính trị Công an nhân dân) tại xã Đồng Tĩnh, Tam Dương, Vĩnh Phúc.[8] Tháng 4-1975 ông về Sài Gòn công tác tại Sở Công an Thành phố Hồ Chí Minh và được tổ chức cho đi học tiếp phổ thông tại trường Marie Curie, Thành phố Hồ Chí Minh, tốt nghiệp phổ thông năm 1977 rồi thi đậu vào Trường Đại học Bách khoa Thành phố Hồ Chí Minh khoa Công trình Thủy cùng năm. Năm 1982 ông tốt nghiệp với bằng Kỹ sư hệ chính quy về công tác tại Công an Thành phố Hồ Chí Minh.

Sau đó ông theo học khóa đào tạo của Học viện An ninh Nhân dân tổ chức tại Hà Nội và Thành phố Hồ Chí Minh với học vị Thạc sĩ Luật. Trong thời gian công tác tại Cục An ninh Nội bộ và Văn hóa tư tưởng ông theo học và lấy thêm bằng Cao học Sử tại Đại học Tổng hợp Thành phố Hồ Chí Minh.[cần dẫn nguồn]

Theo báo Công an nhân dân thì vào năm 2016 Trương Hòa Bình có bằng tiến sĩ luật học.[9] Tuy nhiên, theo website Tòa án nhân dân tối cao Việt Nam năm 2017 thì ông có học vị là Thạc sĩ Luật học.[10]